Sau khi cha qua đời, Cao Vĩ về mặt chính thức tự mình tiếp nhận quyền cai quản đế quốc, song triều đình thực tế nằm trong tay một nhóm gồm tám đại thần cao cấp —Hòa Sĩ Khai, Lâu Định Viễn (婁定遠), Triệu Ngạn Thâm (趙彥深), Cao Văn Dao (高文遙), Đường Ung (唐邕), Kì Liên Mãnh (綦連猛), Cao A Na Quăng (高阿那肱), họ hàng của Hồ thái hậu là Hồ Trường Xán (胡長粲). Tuy nhiên, tranh chấp nội bộ đã sớm xảy ra, vào mùa xuân năm 569, em họ của Vũ Thành Đế là Triệu quận vương Cao Duệ (高叡), em trai của Vũ Thành Đế là Phùng Dực vương Cao Nhuận (高潤), cháu trai của Vũ Thành Đế là An Đức vương Cao Diên Tông, Lâu Định Viễn, và Cao Văn Dao, đều đề nghị phải giáng Hòa Sĩ Khai (người có nhiều quyền lực nhất trong nhóm tám người) làm thứ sử tại một châu. Đặc biệt, Cao Duệ chỉ trích mạnh mẽ Hòa Sĩ Khai về tội hủ bại và vô đạo, với một bí mật "công khai" rằng Hòa Sĩ Khai có một mối tình với Hồ thái hậu. Trước áp lực của các quan lại, Hòa Sĩ Khai chấp thuận đi làm quan ở các châu (cùng với Cao Văn Dao) sau tang lễ của Thái thượng hoàng. Sau tang lễ, Hòa Sĩ Khai đã hối lộ Lâu Định Viễn và được phép gặp Hồ thái hậu và Cao Vĩ một lần nữa, ông ta đã thuyết phục hai người rằng các đại thần kia có ý định gây tổn hại cho họ và rằng họ chỉ có thể tin tưởng ông ta. Do đó, Cao Vĩ đã ban một thánh chỉ khiển trách Cao Duệ. Khi Cao Duệ vào cung để cố thuyết phục Hồ thái hậu và Cao Vĩ loại bỏ Hòa Sĩ Khai, Hồ thái hậu đã cho bắt giữ Cao Duệ và lệnh cho Lưu Đào Chi (劉桃枝) siết cổ giết chết Cao Duệ. Sau đó, quyền lực của Hòa Sĩ Khai không còn bị kìm hãm nữa. Các sủng thần khác của Cao Vĩ bao gồm dưỡng mẫu Lục Lệnh Huyên (陸令萱) của ông và người con trai Mục Đề Bà (穆提婆) của bà ta, cũng như Tổ Thỉnh.

Vào mùa hè năm 570, một người thiếp là Mục Hoàng Hoa phu nhân đã hạ sinh người con trai đầu lòng cho Cao Vĩ- được đặt tên là Cao Hằng, Cao Vĩ vì thế đã tuyên bố đại xá. Lục Lệnh Huyên đồng thời cũng là nhũ mẫu của Mục phu nhân, bà ta muốn Cao Hằng cuối cùng sẽ trở thành hoàng thái tử và hoàng đế, song lo sợ rằng Hộc Luật hoàng hậu sẽ phản đối việc này, vì thế bà ta đã đưa Cao Hằng cho Học Luật hoàng hậu nuôi dưỡng. Vào mùa đông năm 570, Cao Vĩ lập Cao Hằng làm hoàng thái tử.

Trong phần lớn thời gian trị vì của Vũ Thành Đế và từ khi Cao Vĩ trị vì, kình địch Bắc Chu đã tiến hành lấn chiếm dần dần lãnh thổ của Bắc Tề. Vào mùa đông năm 570, Hộc Luật Quang đã tiến hành một cuộc phản công và chiếm được các vùng lãnh thổ đáng kể ở phía bắc của Phần thủy. Hộc Luật Quang sau đó cũng đánh bại quân Bắc Chu tại Nghi Dương (宜陽, nay thuộc Lạc Dương, Hà Nam). Khi Hộc Luật Quang trên đường quay trở về kinh đô Nghiệp thành, Cao Vĩ đã lệnh cho quân của Hộc Luật Quang phục viên trong khi nhiều binh lính vẫn chưa được thưởng công. Hộc Luật Quang đã trình một thỉnh nguyện thư bí mật cho Cao Vĩ, xin hoàng đế cử quan viên triều đình đến để ca ngợi công lao của binh lính. Tuy nhiên, Cao Vĩ đã không hành động ngay lập tức, và đội quân tiến về Nghiệp thành trong khi không nhận được bất kỳ điều gì từ hoàng đế. Cao Vĩ không hài lòng trước việc Hộc Luật Quang đem quân tiến sát kinh thành, và ông cho triệu Hộc Luật Quang vào cung trước khi cử quan viên đến vinh danh binh lính và cho họ phục viên.

Vào năm 571, Cao Nghiễm, khi này có tước Lang Da vương, tức giận trước việc Hòa Sĩ Khai nắm giữ quyền lực nên đã giết chết người này, và thậm chí còn huy động quân của mình để nhằm đoạt lấy quyền lực và giết chết Lục Lệnh Huyên và Mục Đề Bà. Mặc dù tán thành việc Cao Nghiễm giết chết Hòa Sĩ Khai, song Hộc Luật Quang vẫn trung thành với hoàng đế và lệnh cho quân của Cao Nghiễm giải tán. Hộc Luật Quang đã bắt giữ Cao Nghiễm và đưa ông ta vào cung. Theo đề xuất của Hộc Luật Quang, ban đầu Cao Vĩ đã tha cho hoàng đệ, song đến mùa đông năm 571 ông đã phái Lưu Đào Chi đi giết Cao Nghiễm, bốn người con trai của Cao Nghiễm được sinh ra sau đó cũng bị giết. Cũng trong mùa đông năm 571, sau khi khám phá ra việc Hồ thái hậu có quan hệ tình ái với hòa thượng Đàm Hiến (曇獻), Cao Vĩ đã cho giết Đàm Hiến và bắt Hồ Thái hậu chuyển vào Bắc cung quản thúc, không cho phép các quý tộc đến thăm bà. Tuy nhiên, vào mùa xuân năm 572, để an ủi mẹ, ông đã truy thụy cho Cao Nghiễm là "Sở Cung Ai Đế" và tôn phong Lý vương phi là "Sở Đế hoàng hậu". Tổ Thỉnh và Lục Lệnh Huyên đã cố gắng để Lục thị có thể trở thành hoàng thái hậu, song Cao Vĩ đã không chấp thuận. Để làm vừa lòng hoàng nhi, Hồ thái hậu đã triệu con gái của anh trai ruột là Hồ Trường Nhân (胡長仁) vào cung và cho người này vận những loại y phục thượng đẳng. Cao Vĩ khi trông thấy Hồ thị đã say đắm và cưới bà làm thiếp.

Năm 572, Hộc Luật hoàng hậu hạ sinh một công chúa, Cao Vĩ do muốn làm vui lòng Hộc Luật Quang nên ban đầu đã tuyên bố rằng hoàng hậu sinh hạ hoàng tử, song cuối cùng đã phải thừa nhận đứa bé là một công chúa. Vào thời điểm này, Hộc Luật Quang đang trong thế xung đột nghiêm trọng với Tổ Thỉnh và Mục Đề Bà. Tổ Thỉnh và Mục Đề Bà gieo rắc vào tâm trí Cao Vĩ sự nghi ngờ đối với Hộc Luật Quang, sự nghi ngờ càng trở nên trầm trọng do Cao Vĩ giờ đây không còn sủng ái Hộc Luật hoàng hậu nữa. Trong khi đó, tướng Bắc Chu là Vi Hiếu Khoan (韋孝寬), do muốn lợi dụng sự nghi ngờ của Cao Vĩ nên đã cố gắng tạo ra cảm giác rằng Hộc Luật Quang sẽ làm phản. Ông ta viết hai câu ca dao: một trong đó là: "bách thăng phi thượng, thiên minh nguyệt chiếu Trường An", theo đơn vị đo lường thời đó thì 100 "thăng" bằng một "hộc", còn minh nguyệt là tự của Hộc Luật Quang, Trường An là đô thành của Bắc Chu; bài còn lại là "cao sơn bất thôi tự băng, hộc thụ bất phù tự thụ", với Cao ám chỉ hoàng tộc Bắc Tề. Ông ta gián tiếp truyền các câu ca dao đến gần Nghiệp thành, và chúng nhanh chóng trở nên phổ biến. Tổ Thỉnh muốn khai thác tình hình nen đã thêm vào: "manh nhãn lão công bối thượng hạ đại phủ, nhiêu thiệt lão mẫu bất đắc ngữ" (ông lão mù sẽ mang một cái rìu lớn, bà lão lắm mồm sẽ không thể nói).

Cả Tổ Thỉnh và Lục Lệnh Huyên sau đó đã trình bài ca dao cho Cao Vĩ để tiếp tục thúc đẩy sự của ông với Hộc Luật Quang. Cao Vĩ tham khảo ý của một sủng thần khác là Hàn Trường Loan (韓長鸞), người này tin rằng ông không nên nghi ngờ Hộc Luật Quang, vì thế Cao Vĩ ban đầu đã không có hành động. Tuy nhiên, Tổ Thỉnh vẫn không dừng lại, và ông đã bảo thuộc cấp của Hộc Luật Quang là Phong Sĩ Nhượng (封士讓) dâng một tấu trình bí mật để biểu thị rằng khi Hộc Luật Quang đưa quân tiến sát Nghiệp thành vào năm 571, ông ta đang âm mưu chính biến. Cao Vĩ tin vào điều này, và theo đề xuất của Tổ Thỉnh, ông ban cho Hộc Luật Quang một con ngựa, và khi Hộc Luật Quang vào cung để cảm tạ hoàng đế, ông đã lệnh cho Đào Chi bắt giữ và giết chết nhạc phụ, gia tộc Hộc Luật hầu như đều bị thảm sát. Hộc Luật hoàng hậu bị phế làm thứ nhân, sau bị bắt làm ni cô.